技術問答
技術文章
iT 徵才
聊天室
2026 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
16
0
Azure 30天
系列 第
16
篇
Day 16. Azure HDInsight Emulator
鐵人賽
wtc
2014-10-16 17:57:59
1818 瀏覽
分享至
先到以下網址下載模擬器與Tutorial實作
http://www.microsoft.com/web/gallery/install.aspx?appid=HDINSIGHT
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/
會從Web Platform 安裝, 會需要約1.5G的空間
安裝後進到windows'服務'程式, 就會發現多了很多Apache Hadoop的服務, 要執行模擬器這些服務都要被啟動
在c:\hdp資料夾下有一個start_local_hdp_services的檔案, 執行後就可全部啟動
桌面上也會多三個icon, 分別是command line, Node status, YARN status
執行Hadoop command line, 進到文字模式, 所有指令前面都先加hadoop, 例如看資料夾就是hadoop fs -ls / (fs表示要執行檔案系統)
新增user資料夾 (hadoop fs -mkdir /user)
在本機先往下切換到share\doc\hadoop\common資料夾, 再將裡面一個CHANGES.txt複製進去到模擬器 (hadoop fs -copyFromLocal CHANGES.txt /user), 可用-ls再確認有複製到
再切換到share\hadoop\mapreduce資料夾, 使用jar參數執行WordCount的程式, 會看到被指派一個Job ID尾數0007
(hadoop jar hadoop-mapreduce-examples-2.4.0.2.1.3.0-1981.jar wordcount /user/CHANGES.txt /user/WordCount_Output)
執行後一樣會生成一個輸出檔案, 在模擬器內是part-r-00000, 使用cat加more看結果
(hadoop fs -cat /user/WordCount_Output/part-r-00000 |more)
可看到程式將CHANGES.txt內所有單字數量都計算一次
再點擊桌面上的TARN Status圖示, 可看到剛剛的job ID 0007執行成功
點另一個Node Status圖示, 選取右上方的'Browse the file ststem'瀏覽檔案
在Browse Directory的文字框輸入'user/WordCount_Output'按Go, 也可以下載Job的執行結果
開發工作使用模擬器就先可避免Azure上的費用了
留言
追蹤
檢舉
上一篇
Day 15. HDInsight瀏覽器介面
下一篇
Day 17. Hive on Emulator
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19831
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
誰能證明AI是一場公司的大災難
鼎新ERP /SMART 專案成本分析..
Connect-AzureAD 的 powershell 指令
Debian 13 安裝 bind9 後找不到範例檔
MATABASE 多期比較問題請教
延續誰能證明ai是場災難
當盡力效勞堅持崗位下的自己和我們,會不會有時覺得只剩過勞
熱門回答
誰能證明AI是一場公司的大災難
鼎新ERP /SMART 專案成本分析..
Connect-AzureAD 的 powershell 指令
Debian 13 安裝 bind9 後找不到範例檔
當盡力效勞堅持崗位下的自己和我們,會不會有時覺得只剩過勞
熱門文章
終結輪詢噩夢:量化交易系統如何優雅地接收跨境股市即時串流?
好想跟 Discord 聊天就把專案寫好 : Claude Code Channels
AI網管課 - 怎麼建置10人網路 (概念篇)
筆記:.NET 併發處理 Async/Await 筆記
運用 AI 驅動的 WAF 偵測技術打造變革性的安全防護
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}